Personal Visual Memory from Explicit and Implicit Evidence
个人视觉记忆：从显式与隐式证据中学习
🧭 多模态记忆 · Agent 长期记忆评估 ★ 深度解读
Johns Hopkins University · University of Wisconsin-Madison · Adobe Research
提出首个面向个性化AI助手的视觉记忆基准，并设计混合视觉-文本记忆架构显式保留身份与所有权
📌 工作参考价值（4 点）
- 图片记忆不应沦为caption：现有记忆系统将图像转为文本描述，丢失身份、所有权等关键视觉信息。你的电商/Agent场景若涉及用户上传图片（如服装、家居），应保留结构化视觉特征，而非仅存文本摘要。
- 延迟提交机制值得工程化：当图像信息不足以立即判断时，不急于提取结构化记忆，而是暂存pending状态，待后续多张图像累积证据后再统一解析。这一trick可迁移到用户多轮上传图片的商品识别、搭配推荐等场景。
- 结构化视觉记忆的模块设计：将记忆拆成relationship、entity、fact三个层级，分别存储社交关系、物体/宠物实例、持久化用户事实，按需路由。电商场景可类似设计：从用户晒图中抽取拥有的商品、偏好风格（实体/事实），而非仅用文本embedding。
- 利用合成数据构建视觉记忆评估管线：论文用一致化角色-场景-物体图像生成pipeline构建有多distractor的长会话，可借鉴用于Agent记忆能力的离线评测，避免隐私风险。